Exploring Bottom-Up Clustering for Creating Semantic IDs
自底向上聚类构建生成式检索 Semantic IDs
🧭 生成式推荐 · 自底向上 Semantic ID ★ 深度解读
Cornell Tech, Cornell University · PayPal
提出自底向上层次聚类生成 Semantic IDs，保证唯一性并保留嵌入局部结构，提升下游生成式检索效果
📌 工作参考价值（4 点）
- 电商生成式推荐中，可直接用自底向上聚类对商品文本 embedding 生成 Semantic IDs，避免 RQ-VAE 训练和 codebook collapse 调参；唯一性由构造保证，不再需要追加去重码，简化线上 ID 映射。
- 冷启动上新：新商品只需找最近邻已有商品，继承前几层码字并分配唯一末位码即可纳入生成式检索，无需重建整个 ID 空间，适合频繁上新的电商场景。
- 层级设计中可通过 cluster size cap 控制每个簇的商品数量，避免头部类目簇过大导致解码搜索空间不均；同时监控 silhouette score、avg rows per ID、簇内类目纯度等指标。
- 注意自底向上聚类簇数通常少于典型 RQ-VAE codebook，粗粒度簇的类目纯度可能下降；在强类目体系场景可结合类目树约束或增加层级来改善。